행렬 곱 심층 학습/행렬 곱의 오차 역전파 행렬적의 오차 역전파가 알기 어려웠으므로, 정리해 둔다. 스칼라 곱의 오차 역전파로부터 복습하면, 경사를 실시하는 대상을 L로 하고, 미리 $\frac{\partial L}{\partial y}$를 알고 있으면 연쇄율로부터 이건 문제 없네요. 그런데, 행렬적이 되면 직감과 바뀌어 옵니다. 왠지, 핀과 오지 않지요. 그래서 구체적으로 확인합니다. 설정은 2개의 뉴런 X와 4개의 가중치 W의 내... 파이썬심층 학습행렬 곱오차 역전파법
심층 학습/행렬 곱의 오차 역전파 행렬적의 오차 역전파가 알기 어려웠으므로, 정리해 둔다. 스칼라 곱의 오차 역전파로부터 복습하면, 경사를 실시하는 대상을 L로 하고, 미리 $\frac{\partial L}{\partial y}$를 알고 있으면 연쇄율로부터 이건 문제 없네요. 그런데, 행렬적이 되면 직감과 바뀌어 옵니다. 왠지, 핀과 오지 않지요. 그래서 구체적으로 확인합니다. 설정은 2개의 뉴런 X와 4개의 가중치 W의 내... 파이썬심층 학습행렬 곱오차 역전파법